Gemma2 チューニング資料
google/gemma-2-2b · Hugging Face
どうやるねんコレクション
そもそも
? 学習したものはどう書き出す?
? accelerate や bitsandbytes どう使うん?
? vLLM で動かすには?
? GGUF 形式にするには?
SFT
TRL に SFTTrainer もある
RHLF
基本 TRL を使うしかない?
記事
Keras で LoRA を使用して Gemma モデルをファインチューニングする  |  Google AI for Developers
google/generative-ai-docs@main - site/en/gemma/docs/lora_tuning.ipynb?hl=ja
Fine-Tuning Gemma Models in Hugging Face
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU
HuggingFaceのTRLでGemmaをファインチューニングしてみました #LLM - Qiita
trlを使って日本語LLMをSFTからRLHFまで一通り学習させてみる | 株式会社AI Shift
vertex-ai-samples/notebooks/community/model_garden/model_garden_gemma_kerasnlp_to_vertexai.ipynb at main · GoogleCloudPlatform/vertex-ai-samples
Xユーザーのゆー@さん: 「ELYZA-tasks-100はgemma-2-27b-it-Q6_K.ggufでの評価が手持ちでできるのでは一番正確そう（なおGPUで10TPS切るので遅い） ローカルの自動評価者はgemma-2-27b-itの非量子化が一番正確になると思われます。 https://t.co/UWd6wsStDA」 / X
実装例
gemma-cookbook/Gemma at main · google-gemini/gemma-cookbook
gemma-cookbook/Gemma/Finetune_with_Torch_XLA.ipynb at main · google-gemini/gemma-cookbook
DPO
gemma-cookbook/Gemma/Aligning_DPO_Gemma_2b_it.ipynb at main · google-gemini/gemma-cookbook
Distributed Fine-tuning Keras Gemma 2 9B - Colab
Parameter-efficient fine-tuning of Gemma with LoRA and QLoRA
いいけどメモリ全然足らない
HuggingFace モデル使うには hf:// でいける
code:load.py
preprocessor = keras_nlp.models.GemmaCausalLMPreprocessor.from_preset(
"hf://google/gemma-2-2b", sequence_length=512
)
gemma_lm = keras_nlp.models.GemmaCausalLM.from_preset(
"hf://google/gemma-2-2b", preprocessor=preprocessor
)
gemma_lm.summary()